<!DOCTYPE html>












  


<html class="theme-next pisces use-motion" lang="zh-Hans">
<head><meta name="generator" content="Hexo 3.8.0">
  <!-- hexo-inject:begin --><!-- hexo-inject:end --><meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">


  
  
  <link rel="stylesheet" href="/xieyuanhui/lib/needsharebutton/needsharebutton.css">

















  
  
  <link rel="stylesheet" href="/xieyuanhui/lib/fancybox/source/jquery.fancybox.css">







<link rel="stylesheet" href="/xieyuanhui/lib/font-awesome/css/font-awesome.min.css?v=4.6.2">

<link rel="stylesheet" href="/xieyuanhui/css/main.css?v=7.1.0">


  <link rel="apple-touch-icon" sizes="180x180" href="/xieyuanhui/images/apple-touch-icon-next.png?v=7.1.0">


  <link rel="icon" type="image/png" sizes="32x32" href="/xieyuanhui/images/favicon-32x32-next.png?v=7.1.0">


  <link rel="icon" type="image/png" sizes="16x16" href="/xieyuanhui/images/favicon-16x16-next.png?v=7.1.0">


  <link rel="mask-icon" href="/xieyuanhui/images/logo.svg?v=7.1.0" color="#222">


  <link rel="manifest" href="/xieyuanhui/images/manifest.json">


  <meta name="msapplication-config" content="/xieyuanhui/images/browserconfig.xml">





<script id="hexo.configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/xieyuanhui/',
    scheme: 'Pisces',
    version: '7.1.0',
    sidebar: {"position":"left","display":"post","offset":12,"onmobile":false,"dimmer":false},
    back2top: true,
    back2top_sidebar: false,
    fancybox: true,
    fastclick: false,
    lazyload: false,
    tabs: true,
    motion: {"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}},
    algolia: {
      applicationID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    }
  };
</script>


  




  <meta name="description" content="原文地址：Show,Attend and Tell Kelvin Xu KELVIN . XU @ UMONTREAL . CAJimmy Lei Ba JIMMY @ PSI . UTORONTO . CARyan Kiros RKIROS @ CS . TORONTO . EDUKyunghyun Cho KYUNGHYUN . CHO @ UMONTREAL . CAAaron Courvi">
<meta name="keywords" content="论文,翻译">
<meta property="og:type" content="article">
<meta property="og:title" content="显示，参与和分辨：用视觉注意生成神经图像标题">
<meta property="og:url" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/index.html">
<meta property="og:site_name" content="xieyuanhui的笔记">
<meta property="og:description" content="原文地址：Show,Attend and Tell Kelvin Xu KELVIN . XU @ UMONTREAL . CAJimmy Lei Ba JIMMY @ PSI . UTORONTO . CARyan Kiros RKIROS @ CS . TORONTO . EDUKyunghyun Cho KYUNGHYUN . CHO @ UMONTREAL . CAAaron Courvi">
<meta property="og:locale" content="zh-Hans">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_09-41-33.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-31-37.jpg">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-25-08.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-25-25.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-27-43.png">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-29-57.jpg">
<meta property="og:updated_time" content="2019-12-09T12:34:50.489Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="显示，参与和分辨：用视觉注意生成神经图像标题">
<meta name="twitter:description" content="原文地址：Show,Attend and Tell Kelvin Xu KELVIN . XU @ UMONTREAL . CAJimmy Lei Ba JIMMY @ PSI . UTORONTO . CARyan Kiros RKIROS @ CS . TORONTO . EDUKyunghyun Cho KYUNGHYUN . CHO @ UMONTREAL . CAAaron Courvi">
<meta name="twitter:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_09-41-33.png">



  <link rel="alternate" href="/xieyuanhui/atom.xml" title="xieyuanhui的笔记" type="application/atom+xml">



  
  
  <link rel="canonical" href="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/">



<script id="page.configurations">
  CONFIG.page = {
    sidebar: "",
  };
</script>

  <title>显示，参与和分辨：用视觉注意生成神经图像标题 | xieyuanhui的笔记</title>
  












  <noscript>
  <style>
  .use-motion .motion-element,
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-title { opacity: initial; }

  .use-motion .logo,
  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript><!-- hexo-inject:begin --><!-- hexo-inject:end -->

</head>

<body itemscope itemtype="http://schema.org/WebPage" lang="zh-Hans">

  
  
    
  

  <!-- hexo-inject:begin --><!-- hexo-inject:end --><div class="container sidebar-position-left page-post-detail">
    <div class="headband"></div>

    <header id="header" class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-wrapper">
  <div class="site-meta">
    

    <div class="custom-logo-site-title">
      <a href="/xieyuanhui/" class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">xieyuanhui的笔记</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
    
    
  </div>

  <div class="site-nav-toggle">
    <button aria-label="切换导航栏">
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
    </button>
  </div>
</div>



<nav class="site-nav">
  
    <ul id="menu" class="menu">
      
        
        
        
          
          <li class="menu-item menu-item-home">

    
    
    
      
    

    

    <a href="/xieyuanhui/" rel="section"><i class="menu-item-icon fa fa-fw fa-home"></i> <br>首页</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-about">

    
    
    
      
    

    

    <a href="/xieyuanhui/about/" rel="section"><i class="menu-item-icon fa fa-fw fa-user"></i> <br>关于</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-tags">

    
    
    
      
    

    

    <a href="/xieyuanhui/tags/" rel="section"><i class="menu-item-icon fa fa-fw fa-tags"></i> <br>标签</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-categories">

    
    
    
      
    

    

    <a href="/xieyuanhui/categories/" rel="section"><i class="menu-item-icon fa fa-fw fa-th"></i> <br>分类</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-archives">

    
    
    
      
    

    

    <a href="/xieyuanhui/archives/" rel="section"><i class="menu-item-icon fa fa-fw fa-archive"></i> <br>归档</a>

  </li>

      
      
        <li class="menu-item menu-item-search">
          
            <a href="javascript:;" class="popup-trigger">
          
            
              <i class="menu-item-icon fa fa-search fa-fw"></i> <br>搜索</a>
        </li>
      
    </ul>
  

  

  
    <div class="site-search">
      
  <div class="popup search-popup local-search-popup">
  <div class="local-search-header clearfix">
    <span class="search-icon">
      <i class="fa fa-search"></i>
    </span>
    <span class="popup-btn-close">
      <i class="fa fa-times-circle"></i>
    </span>
    <div class="local-search-input-wrapper">
      <input autocomplete="off" placeholder="搜索..." spellcheck="false" type="text" id="local-search-input">
    </div>
  </div>
  <div id="local-search-result"></div>
</div>



    </div>
  
</nav>



  



</div>
    </header>

    


    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          
            

          
          <div id="content" class="content">
            

  <div id="posts" class="posts-expand">
    

  

  
  
  

  

  <article class="post post-type-normal" itemscope itemtype="http://schema.org/Article">
  
  
  
  <div class="post-block">
    <link itemprop="mainEntityOfPage" href="http://xyh5513.gitee.io/xieyuanhui/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="name" content="xieyuanhui">
      <meta itemprop="description" content>
      <meta itemprop="image" content="/xieyuanhui/images/deer.png">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="xieyuanhui的笔记">
    </span>

    
      <header class="post-header">

        
        
          <h1 class="post-title" itemprop="name headline">显示，参与和分辨：用视觉注意生成神经图像标题

              
            
          </h1>
        

        <div class="post-meta">
          <span class="post-time">

            
            
            

            
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              
                <span class="post-meta-item-text">发表于</span>
              

              
                
              

              <time title="创建时间：2019-05-05 09:31:49" itemprop="dateCreated datePublished" datetime="2019-05-05T09:31:49+08:00">2019-05-05</time>
            

            
              

              
                
                <span class="post-meta-divider">|</span>
                

                <span class="post-meta-item-icon">
                  <i class="fa fa-calendar-check-o"></i>
                </span>
                
                  <span class="post-meta-item-text">更新于</span>
                
                <time title="修改时间：2019-12-09 20:34:50" itemprop="dateModified" datetime="2019-12-09T20:34:50+08:00">2019-12-09</time>
              
            
          </span>

          
            <span class="post-category">
            
              <span class="post-meta-divider">|</span>
            
              <span class="post-meta-item-icon">
                <i class="fa fa-folder-o"></i>
              </span>
              
                <span class="post-meta-item-text">分类于</span>
              
              
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing"><a href="/xieyuanhui/categories/论文学习/" itemprop="url" rel="index"><span itemprop="name">论文学习</span></a></span>

                
                
              
            </span>
          

          
            
            
          

          
          
            <span id="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/" class="leancloud_visitors" data-flag-title="显示，参与和分辨：用视觉注意生成神经图像标题">
              <span class="post-meta-divider">|</span>
              <span class="post-meta-item-icon">
                <i class="fa fa-eye"></i>
              </span>
              
                <span class="post-meta-item-text">阅读次数：</span>
              
                <span class="leancloud-visitors-count"></span>
            </span>
          

          

          
            <div class="post-symbolscount">
              

              
                <span class="post-meta-item-icon">
                  <i class="fa fa-file-word-o"></i>
                </span>
                
                  <span class="post-meta-item-text">本文字数：</span>
                
                <span title="本文字数">23k</span>
              

              
                <span class="post-meta-divider">|</span>
              

              
                <span class="post-meta-item-icon">
                  <i class="fa fa-clock-o"></i>
                </span>
                
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                
                <span title="阅读时长">21 分钟</span>
              
            </div>
          

          

        </div>
      </header>
    

    
    
    
    <div class="post-body" itemprop="articleBody">

      
      

      
        <p>原文地址：<a href="https://arxiv.org/abs/1502.03044" target="_blank" rel="noopener">Show,Attend and Tell</a></p>
<p>Kelvin Xu KELVIN . XU @ UMONTREAL . CA<br>Jimmy Lei Ba JIMMY @ PSI . UTORONTO . CA<br>Ryan Kiros RKIROS @ CS . TORONTO . EDU<br>Kyunghyun Cho KYUNGHYUN . CHO @ UMONTREAL . CA<br>Aaron Courville AARON . COURVILLE @ UMONTREAL . CA<br>Ruslan Salakhutdinov RSALAKHU @ CS . TORONTO . EDU<br>Richard S. Zemel ZEMEL @ CS . TORONTO . EDU<br>Yoshua Bengio FIND - ME @ THE . WEB</p>
<h2 id="摘要"><a href="#摘要" class="headerlink" title="摘要"></a>摘要</h2><p>受近期机器翻译和物体检测工作的启发，我们引入了基于注意力的模型，该模型自动学习描述图像的内容。我们描述了如何使用标准反向传播技术以确定性方式训练该模型，并通过最大化变分下界来随机训练该模型。我们还通过可视化显示模型如何能够在输出序列中生成相应的单词时自动学习如何将注视固定在显着对象上。我们在三个基准数据集上验证了对theart-theart性能的关注使用：Flickr8k，Flickr30k和MS COCO。</p>
<h2 id="1-介绍"><a href="#1-介绍" class="headerlink" title="1. 介绍"></a>1. 介绍</h2><p>自动生成图像的标题是一项非常接近场景理解核心的任务 - 计算机视觉的主要目标之一。不仅字幕生成模型必须足够强大以解决确定图像中哪些对象的计算机视觉挑战，而且它们还必须能够以自然语言捕获和表达它们的关系。因此，字幕生成一直被视为一个难题。对于机器学习算法来说，这是一个非常重要的挑战，因为它相当于模仿人类将大量显着的视觉信息压缩成描述性语言的卓越能力。</p>
<p><img src="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_09-41-33.png" alt></p>
<center>图1.我们的模型学习单词/图像对齐。可视化的注意力图（3）在3.1和5.4节中解释</center>

<p>尽管这项任务具有挑战性，但最近对攻击图像标题生成问题的研究兴趣激增。借助训练神经网络（Krizhevsky等，2012）和大型分类数据集（Russakovsky等，2014）的进步，最近的工作使用卷积神经网络（convnets）的组合显着提高了字幕生成的质量图像和递归神经网络的矢量表示将这些表示解码为自然语言句子（见第2节）。</p>
<p>人类视觉系统最奇怪的一个方面就是注意力的存在（Rensink，2000; Corbetta＆Shulman，2002）。而不是将整个图像压缩成静态表示，注意允许突出的特征根据需要动态地出现在最前面。当图像中存在大量杂乱时，这一点尤其重要。使用代表信息（从一个预报的顶层），将图像中的信息提取到最显着的对象是一种在以前的工作中被广泛采用的有效解决方案。不幸的是，这有一个潜在的缺点，即丢失信息，这可能对更丰富，更具描述性的字幕有用。使用更多低级别表示可以帮助保留此信息。但是，使用这些功能需要一种强大的机制来将模型引导到对手头任务很重要的信息。</p>
<p>在本文中，我们描述了字幕生成的方法，试图将一种注意力形式与两种变体相结合：“硬”注意机制和“软”注意机制。我们还展示了包括注意力的可能性的一个优点是可视化模型“看到”。最近在字幕生成方面的进步以及最近成功引起机器翻译（Bahdanau et al。，2014）和对象识别（Ba et al。，2014; Mnih et al。，2014）的成功激发了我们的鼓舞。在生成标题时注意图像的显着部分。</p>
<p>本文的贡献如下：</p>
<p>•我们在一个共同的框架下引入了两个基于注意的图像标题生成器（第3.1节）：1）通过标准反向传播方法可训练的“软”确定性注意机制和2）“通过最大化近似变分下界或由REINFORCE等效地训练的随机注意机制（Williams，1992）。</p>
<p>•我们通过可视化注意力集中在哪里和“什么”来展示我们如何获得洞察力并解释该框架的结果。 （参见5.4节）</p>
<p>•最后，我们在三个基准数据集上定量验证了标题生成中关注点的有用性和最新性能（第5.3节）：Flickr8k（Hodosh等，2013），Flickr30k（Young等人。，2014）和MS COCO数据集（Lin et al。，2014）。</p>
<h2 id="2-相关工作"><a href="#2-相关工作" class="headerlink" title="2. 相关工作"></a>2. 相关工作</h2><p>在本节中，我们提供了有关图像标题生成和注意的先前工作的相关背景。最近，已经提出了几种用于生成图像描述的方法。这些方法中的许多方法基于递归神经网络，并且受到成功使用序列以用神经网络进行机器翻译的序列训练的启发（Cho等人，2014; Bahdanau等人，2014; Sutskever等人，2014）。图像标题生成非常适合机器翻译的编码器 - 解码器框架（Cho等人，2014）的一个主要原因是因为它类似于将图像“翻译”成句子。</p>
<p>第一种使用神经网络生成字幕的方法是Kiros等。 （2014a），他提出了一种多模态对数双线性模型，该模型受到图像特征的偏差。这项工作后来被Kiros等人跟踪。 （2014b）其方法旨在明确允许进行排名和生成的自然方式。毛等人（2014）采用了类似的生成方法，但用反复的方法取代了前馈神经语言模型。两个Vinyals等人。 （2014年）和多纳休等人。 （2014）使用LSTM RNN作为他们的模型。与Kiros等人不同。 （2014a）和毛等人。 （2014）其模型在输出单词序列的每个时间步骤看到图像，Vinyals等。 （2014）仅在开始时向RNN显示图像。与图像一起，Donahue等人。 （2014）也将LSTM应用于视频，允许模型生成视频编码。</p>
<p>所有这些工作都将图像表示为来自预先训练的卷积网络的顶层的单个特征向量。 Karpathy＆Li（2014）提出学习用于排名和生成的联合嵌入空间，其模型学习根据具有双向RNN的输出的R-CNN对象检测来对句子和图像相似性进行评分。方等人。 （2014）通过结合对象检测提出了一个用于生成的三步管道。他们的模型首先学习基于多实例学习框架的几个视觉概念的探测器。然后将关于字幕训练的语言模型应用于检测器输出，然后从联合图像文本嵌入空间重新校准。与这些模型不同，我们提出的注意框架没有明确地使用对象检测器，而是从头开始学习潜在对齐。这使我们的模型超越了“对象性”并学会了解抽象概念。</p>
<p>在使用神经网络生成字幕之前，两种主要方法占主导地位。第一个涉及生成标题模板，这些模板根据对象检测和属性发现的结果填写（Kulkarni等人（2013），Li等人（2011），Yang等人（2011），Mitchell等人（ 2012），Elliott＆Keller（2013））。第二种方法是基于首先从大型数据库中获取相似的标题图像，然后修改这些检索到的标题以适应查询（Kuznetsova等，2012; 2014）。这些方法通常涉及中间“概括”步骤，以去除仅与检索到的图像相关的标题的细节，例如城市的名称。这两种方法都已经不再支持现在占主导地位的神经网络方法。</p>
<p>以前的工作已有很长时间，将注意力集中在视觉相关任务的神经网络中。一些与我们的工作具有相同精神的人包括Larochelle＆Hinton（2010）; Denil等人（2012）;唐等人（2014）。但是，我们的工作特别直接扩展了Bahdanau等人的工作（2014）; Mnih等人（2014）; Ba等人（2014）。</p>
<h2 id="3-带注意机制的图像标题生成"><a href="#3-带注意机制的图像标题生成" class="headerlink" title="3. 带注意机制的图像标题生成"></a>3. 带注意机制的图像标题生成</h2><h3 id="3-1-模型细节"><a href="#3-1-模型细节" class="headerlink" title="3.1 模型细节"></a>3.1 模型细节</h3><p>在本节中，我们通过首先描述它们的共同框架来描述基于注意力的模型的两个变体。主要区别在于我们在第4节中详细描述的<strong>$\phi $</strong>函数的定义。我们用粗体字体表示向量，用大写字母表示矩阵。在下面的描述中，我们抑制偏差项以便于阅读。</p>
<h4 id="3-1-1-编码器：卷积特征"><a href="#3-1-1-编码器：卷积特征" class="headerlink" title="3.1.1 编码器：卷积特征"></a>3.1.1 编码器：卷积特征</h4><p>我们的模型采用单个原始图像并生成标题y，编码为1-K编码单词的序列。</p>
<p>$y=\left\{\mathbf{y}_{1}, \dots, \mathbf{y}_{C}\right\}, \mathbf{y}_{i} \in \mathbb{R}^{K}$</p>
<p>其中K是词汇表的大小，C是标题的长度。</p>
<p>我们使用卷积神经网络来提取一组我们称为注释向量的特征向量。提取器产生L个矢量，每个矢量是对应于图像的一部分的D维表示。</p>
<p>$a=\left\{\mathbf{a}_{1}, \ldots, \mathbf{a}_{L}\right\}, \mathbf{a}_{i} \in \mathbb{R}^{D}$</p>
<p>为了获得特征向量和2-D图像的部分之间的对应关系，我们从较低卷积层提取特征，而不是先前的工作，而是使用完全连接的层。这允许解码器通过选择所有特征向量的子集来选择性地聚焦在图像的某些部分上。</p>
<h4 id="3-1-2-解码器：长短期记忆网络"><a href="#3-1-2-解码器：长短期记忆网络" class="headerlink" title="3.1.2 解码器：长短期记忆网络"></a>3.1.2 解码器：长短期记忆网络</h4><p>我们使用长期短期记忆（LSTM）网络（Hochreiter＆Schmidhuber，1997），通过在每个时间步骤生成一个单词来生成标题，该单词以上下文向量，先前隐藏状态和先前生成的单词为条件。我们对LSTM的实施严格遵循Zaremba等人使用的方法（2014）（见图4）。使用$T_{s, t} : \mathbb{R}^{s} \rightarrow \mathbb{R}^{t}$表示使用学习参数的简单仿射变换，</p>
<p>\begin{equation}<br>\left( \begin{array}{c}{\mathbf{i}_{t}} \\ {\mathbf{f}_{t}} \\ {\mathbf{o}_{t}} \\ {\mathbf{g}_{t}}\end{array}\right)=\left( \begin{array}{c}{\sigma} \\ {\sigma} \\ {\sigma} \\ {\tanh }\end{array}\right) T_{D+m+n, n} \left( \begin{array}{c}{\mathbf{E} \mathbf{y}_{t-1}} \\ {\mathbf{h}_{t-1}} \\ {\mathbf{z}_{t}}\end{array}\right)<br>\end{equation}​</p>
<p>\begin{equation}<br>\mathbf{c}_{t}=\mathbf{f}_{t} \odot \mathbf{c}_{t-1}+\mathbf{i}_{t} \odot \mathbf{g}_{t}<br>\end{equation}</p>
<p>\begin{equation}<br>\mathbf{h}_{t}=\mathbf{o}_{t} \odot \tanh \left(\mathbf{c}_{t}\right)<br>\end{equation}</p>
<p>这里，$\mathbf{i}_{t}$，$\mathbf{f}_{t}$，$\mathbf{c}_{t}$，$\mathbf{o}_{t}$，$\mathbf{h}_{t}$分别是LSTM的输入，遗忘，存储器，输出和隐藏状态。矢量$\hat{\mathbf{z}} \in \mathbb{R}^{D}$是上下文矢量，捕获与特定输入位置相关联的视觉信息，如下所述。 $\mathbf{E} \in \mathbb{R}^{m \times K}$是嵌入矩阵。设m和n分别表示嵌入和LSTM维数，$\sigma$和$\odot$分别是逻辑sigmoid激活和元素乘法。</p>
<p>简言之，上下文向量<script type="math/tex">\hat{\mathbf{Z}}_{t}</script>（等式（1） - （3））是在时间t输入的图像的相关部分的动态表示。我们定义了一个机制$\phi $，它根据与在不同图像位置提取的特征相对应的注释向量$\mathbf{a}_{i}, i=1, \dots, L$来计算<script type="math/tex">\hat{\mathbf{Z}}_{t}</script>。对于每个位置i，该机制产生正权重αi，其可以被解释为位置i是用于产生下一个单词的正确位置的概率（“硬”但随机注意机制），或者作为相对重要的是给位置i混合$\mathbf{a}_{i}$的在一起。每个注释向量$\mathbf{a}_{i}$的权重$\alpha_{i}$由注意模型$f_{att}$计算，对于该关注模型，我们使用以先前隐藏状态$h_{t-1}$为条件的多层感知器。 Bahdanau等人介绍了这种注意机制的软版本（2014）。为了强调，我们注意到隐藏状态随着输出RNN在其输出序列中前进而变化：网络看起来的“其中”取决于已经生成的单词序列。</p>
<p>\begin{equation}<br>e_{t i}=f_{\mathrm{att}}\left(\mathbf{a}_{i}, \mathbf{h}_{t-1}\right)<br>\end{equation}</p>
<p>\begin{equation}<br>\alpha_{t i}=\frac{\exp \left(e_{t i}\right)}{\sum_{k=1}^{L} \exp \left(e_{t k}\right)}<br>\end{equation}</p>
<p>一旦计算了权重（总和为1），就通过计算上下文向量$\hat{\mathbf{z}}_{t}$</p>
<p>\begin{equation}<br>\hat{\mathbf{z}}_{t}=\phi\left(\left\{\mathbf{a}_{i}\right\},\left\{\alpha_{i}\right\}\right)<br>\end{equation}</p>
<p>其中$\phi$是一个函数，它给出一组注释向量及其相应的权重，返回单个向量。<br>$\phi$功能的细节将在第4节中讨论。</p>
<p>LSTM的初始内存状态和隐藏状态由通过两个单独的MLP（init，c和init，h）提供的注释向量的平均值预测：</p>
<p>$\mathbf{c}_{0}=f_{\text { init, c}}\left(\frac{1}{L} \sum_{i}^{L} \mathbf{a}_{i}\right)$</p>
<p>$\mathbf{h}_{0}=f_{\text { init,h }}\left(\frac{1}{L} \sum_{i}^{L} \mathbf{a}_{i}\right)$</p>
<p>在这项工作中，我们使用深度输出层（Pascanu等，2014）来计算给定LSTM状态，上下文向量和前一个单词的输出字概率：</p>
<p>\begin{equation}<br>p\left(\mathbf{y}_{t} | \mathbf{a}, \mathbf{y}_{1}^{t-1}\right) \propto \exp \left(\mathbf{L}_{o}\left(\mathbf{E} \mathbf{y}_{t-1}+\mathbf{L}_{h} \mathbf{h}_{t}+\mathbf{L}_{z} \hat{\mathbf{z}}_{t}\right)\right)<br>\end{equation}</p>
<p>其中$\mathbf{L}_{o} \in \mathbb{R}^{K \times m}$，$\mathbf{L}_{h} \in \mathbb{R}^{m \times n}$，$\mathbf{L}_{z} \in \mathbb{R}^{m \times D}$，E是随机初始化的学习参数。</p>
<h2 id="4-学习随机“硬”与确定性“软”注意"><a href="#4-学习随机“硬”与确定性“软”注意" class="headerlink" title="4. 学习随机“硬”与确定性“软”注意"></a>4. 学习随机“硬”与确定性“软”注意</h2><p>在本节中，我们将讨论关注模型的两种替代机制：随机关注和确定性关注。</p>
<h3 id="4-1-随机“硬”注意"><a href="#4-1-随机“硬”注意" class="headerlink" title="4.1 随机“硬”注意"></a>4.1 随机“硬”注意</h3><p>我们将位置变量$s_{t}$表示为模型在生成第t个单词时决定关注的位置。<br>$s_{t,i}$是一个指标单热变量，如果第i个位置（在L之外）是用于提取视觉特征的位置，则该变量设置为1。通过将关注位置视为中间潜在变量，我们可以分配由{$\alpha _{i}$}参数化的多重分布，并将$\hat{\mathbf{Z}}_{t}$视为随机变量：</p>
<p>\begin{equation}<br>p\left(s_{t, i}=1 | s_{j&lt;t}, \mathbf{a}\right)=\alpha_{t, i}<br>\end{equation}</p>
<p>\begin{equation}<br>\hat{\mathbf{z}}_{t}=\sum_{i} s_{t, i} \mathbf{a}_{i}<br>\end{equation}</p>
<p>我们定义一个新的目标函数$L_{s}$，它是观察给定图像特征a的单词y序列的边际对数似然$\log p(\mathbf{y} | \mathbf{a})$的变分下界。通过直接优化$L_{s}$可以导出模型参数W的学习算法：</p>
<p>\begin{equation}<br>\begin{aligned} L_{s} &amp;=\sum_{s} p(s | \mathbf{a}) \log p(\mathbf{y} | s, \mathbf{a}) \\ &amp; \leq \log \sum_{s} p(s | \mathbf{a}) p(\mathbf{y} | s, \mathbf{a}) \\ &amp;=\log p(\mathbf{y} | \mathbf{a}) \end{aligned}<br>\end{equation}</p>
<p>\begin{equation}<br>\begin{array}{c}{\frac{\partial L_{s}}{\partial W}=\sum_{s} p(s | \mathbf{a})\left[\frac{\partial \log p(\mathbf{y} | s, \mathbf{a})}{\partial W}+\right.} \\ {\log p(\mathbf{y} | s, \mathbf{a}) \frac{\partial \log p(s | \mathbf{a})}{\partial W} ]}\end{array}<br>\end{equation}</p>
<p>公式11建议基于蒙特卡罗的梯度相对于模型参数的采样近似。这可以通过从等式8定义的多个分布中对位置$s_{t}$进行采样来完成。</p>
<p>$\tilde{s}_{t} \sim$ Multinoulli $_{L}\left(\left\{\alpha_{i}\right\}\right)$</p>
<p>\begin{equation}<br>\begin{array}{r}{\frac{\partial L_{s}}{\partial W} \approx \frac{1}{N} \sum_{n=1}^{N}\left[\frac{\partial \log p\left(\mathbf{y} | \tilde{s}^{n}, \mathbf{a}\right)}{\partial W}+\right.} \\ {\log p\left(\mathbf{y} | \tilde{s}^{n}, \mathbf{a}\right) \frac{\partial \log p\left(\tilde{s}^{n} | \mathbf{a}\right)}{\partial W} ]}\end{array}<br>\end{equation}</p>
<p>在Weaver和Tao（2001）之后，移动平均基线用于减少梯度蒙特卡罗估计的方差。 Mnih等人以前曾使用类似但更复杂的方差减少技术。 （2014）和Ba等人。 （2014）。在看到第k个小批量时，移动平均基线被估计为先前对数似然与指数衰减的累积和：</p>
<p>$b_{k}=0.9 \times b_{k-1}+0.1 \times \log p\left(\mathbf{y} | \tilde{s}_{k}, \mathbf{a}\right)$</p>
<p>为了进一步减少估计量方差，增加了多个in分布H [s]的熵项。此外，对于给定图像，概率为0.5，我们将采样的注意位置~s设置为其预期值α。这两种技术都提高了随机注意力学习算法的鲁棒性。该模型的最终学习规则如下：</p>
<p>$\frac{\partial L_{s}}{\partial W} \approx \frac{1}{N} \sum_{n=1}^{N}\left[\frac{\partial \log p\left(\mathbf{y} | \tilde{s}^{n}, \mathbf{a}\right)}{\partial W}+\right.$<br>$\lambda_{r}\left(\log p\left(\mathbf{y} | \tilde{s}^{n}, \mathbf{a}\right)-b\right) \frac{\partial \log p\left(\tilde{s}^{n} | \mathbf{a}\right)}{\partial W}+\lambda_{e} \frac{\partial H\left[\tilde{s}^{n}\right]}{\partial W} ]$</p>
<p>其中，$\lambda _{r}$和$\lambda _{e}$是通过交叉验证设置的两个超参数。正如Ba等人所指出并使用的那样。 （2014年）和Mnih等人。 （2014），这是公式等同于REINFORCE学习规则（Williams，1992），其中选择一系列动作的注意力的奖励是与采样注意力轨迹下的目标句子的对数似然成比例的实际值。<br>在每个点做出艰难的选择时，来自等式6的$\phi\left(\left\{\mathbf{a}_{i}\right\},\left\{\alpha_{i}\right\}\right)$是基于由$\alpha $参数化的多个in分布在每个时间点返回采样的$a_{i}$的函数。</p>
<h3 id="4-2-确定性的“软”注意力"><a href="#4-2-确定性的“软”注意力" class="headerlink" title="4.2 确定性的“软”注意力"></a>4.2 确定性的“软”注意力</h3><p>学习随机注意力需要每次对注意位置$s_{t}$进行采样，而不是直接考虑上下文向量$\hat{z_{t}}$的期望，</p>
<p>\begin{equation}<br>\mathbb{E}_{p\left(s_{t} | a\right\rangle}\left[\hat{\mathbf{z}}_{t}\right]=\sum_{i=1}^{L} \alpha_{t, i} \mathbf{a}_{i}<br>\end{equation}</p>
<p>并且通过计算由Bahdanau等人引入的软注意加权注释向量$\phi\left(\left\{\mathbf{a}_{i}\right\},\left\{\alpha_{i}\right\}\right)=\sum_{i}^{L} \alpha_{i} \mathbf{a}_{i}$来制定确定性注意模型。 （2014）。这对应于将软$\alpha$加权上下文馈入系统。整个模型在确定性关注下是平滑和可区分的，因此通过使用标准反向传播来学习端到端是微不足道的。</p>
<p>学习确定性注意也可以理解为近似优化方程10中来自Sec的注意位置随机变量$s_{t}$下的边际似然。 4.1。 LSTM $h_{t}$的隐藏激活是随机上下文向量$\hat{z _ { t }}$的线性投影，其后是tanh非线性。对于一阶泰勒近似，期望值$\mathbb{E}_{p\left(s_{t} | a\right)}\left[\mathbf{h}_{t}\right]$等于使用具有预期上下文向量$\mathbb{E}_{p\left(s_{t} | a\right)}\left[\hat{\mathbf{Z}}_{t}\right]$的单个前向道具来计算$h _ { t }$。考虑方程式在图7中，令$\mathbf{n}_{t}=\mathbf{L}_{o}\left(\mathbf{E} \mathbf{y}_{t-1}+\mathbf{L}_{h} \mathbf{h}_{t}+\mathbf{L}_{z} \hat{\mathbf{z}}_{t}\right)$，$n_{ t }$，$i$表示通过将随机变量z值设置为$i$而计算的<script type="math/tex">n _ {t}</script>。我们定义了softmax第k个单词预测的归一化加权几何平均值：</p>
<p>$\begin{aligned} N W G M\left[p\left(y_{t}=k | \mathbf{a}\right)\right] &amp;=\frac{\prod_{i} \exp \left(n_{t, k, i}\right)^{p\left(s_{t, i}=1 | a\right)}}{\sum_{j} \prod_{i} \exp \left(n_{t, j, i}\right)^{p\left(s_{t, i}=1 | a\right)}} \\ &amp;=\frac{\exp \left(\mathbb{E}_{p\left(s_{t} | a\right)}\left[n_{t, k}\right]\right)}{\sum_{j} \exp \left(\mathbb{E}_{p\left(s_{t} | a\right)}\left[n_{t, j}\right]\right)} \end{aligned}$</p>
<p>上面的等式显示了标题预测的归一化加权几何平均值可以通过使用预期的上下文向量很好地近似，其中$\mathbb{E}\left[\mathbf{n}_{t}\right]=\mathbf{L}_{o}\left(\mathbf{E} \mathbf{y}_{t-1}+\mathbf{L}_{h} \mathbb{E}\left[\mathbf{h}_{t}\right]+\mathbf{L}_{z} \mathbb{E}\left[\hat{\mathbf{z}}_{t}\right]\right)$。它表明softmax单位的NWGM是通过将softmax应用于基础线性投影的期望而获得的。此外，根据（Baldi＆Sadowski，2014）的结果，在softmax激活下$\operatorname{NWGM[p}\left(y_{t}=k | \mathbf{a}\right) ] \approx \mathbb{E}\left[p\left(y_{t}=k | \mathbf{a}\right)\right]$。这意味着通过具有预期上下文向量$\mathbb{E}\left[\hat{\mathbf{Z}}_{t}\right]$的简单前馈传播来计算由随机变量$s _ { t }$引起的对所有可能的关注位置的输出的期望。换句话说，确定性注意力模型是对注意力位置上的边际可能性的近似。</p>
<h4 id="4-2-1-双重随机注意"><a href="#4-2-1-双重随机注意" class="headerlink" title="4.2.1 双重随机注意"></a>4.2.1 双重随机注意</h4><p>通过构造，$\sum_{i} \alpha_{t i}=1$，因为它们是softmax的输出。在训练模型的确定性版本时，我们引入了一种双随机正则化的形式，其中我们也鼓励$\sum_{i} \alpha_{t i} \approx 1$。这可以解释为鼓励模型在整个过程中对图像的每个部分给予同等的关注。代。在我们的实验中，我们发现这种惩罚在数量上对于提高整体BLEU评分非常重要，而且从定性上讲，这会导致更丰富和描述性的标题。另外，软注意模型在每个时间步t预测来自先前隐藏状态$h_{t- 1 }$的选通标量β，使得$\phi\left(\left\{\mathbf{a}_{i}\right\},\left\{\alpha_{i}\right\}\right)=\beta \sum_{i}^{L} \alpha_{i} \mathbf{a}_{i}$，其中$\beta_{t}=\sigma\left(f_{\beta}\left(\mathbf{h}_{t-1}\right)\right)$。我们注意到我们的注意力量通过包括标量β而更加强调图像中的对象。</p>
<p><img src="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-31-37.jpg" alt></p>
<p>表1.与其他方法相比，BLEU-1,2,3,4 / METEOR指标，†表示不同的分割，（ - ）表示未知指标，◦表示作者通过个人通信提供了缺失的指标，Σ表示整体，a表示使用AlexNet</p>
<p>具体而言，通过最小化以下惩罚的负对数似然，端到端地训练模型：</p>
<p>\begin{equation}<br>L_{d}=-\log (P(\mathbf{y} | \mathbf{x}))+\lambda \sum_{i}^{L}\left(1-\sum_{t}^{C} \alpha_{t i}\right)^{2}<br>\end{equation}</p>
<h3 id="4-3-训练过程"><a href="#4-3-训练过程" class="headerlink" title="4.3 训练过程"></a>4.3 训练过程</h3><p>我们的注意力模型的两种变体都使用自适应学习速率算法进行随机梯度下降训练。对于Flickr8k数据集，我们发现RMSProp（Tieleman＆Hinton，2012）效果最好，而对于Flickr30k / MS COCO数据集，我们使用了最近提出的Adam算法（Kingma＆Ba，2014）。</p>
<p>为了创建我们的解码器使用的注释，我们使用了在ImageNet上预训练的Oxford VGGnet（Simonyan＆Zisserman，2014），没有微调。然而，原则上，可以使用任何编码功能。此外，有了足够的数据，我们还可以从头开始（或微调）训练编码器与模型的其余部分。在我们的实验中，我们在最大池化之前设置了第四个卷积层的14×14×512特征图。这意味着我们的解码器以平展的196×512（即L×D）编码进行操作。</p>
<p>由于我们的实现要求时间与每次更新的最长句子的长度成比例，我们发现对随机字幕组的训练在计算上是浪费的。为了缓解这个问题，在预处理中我们构建了一个字典，将句子的长度映射到相应的字幕子集。然后，在训练期间，我们随机抽样一个长度，并检索一个长度为64的小批量。我们发现这大大提高了收敛速度，但性能没有明显降低。在我们最大的数据集（MS COCO）上，我们的软关注模型用了不到3天的时间来训练NVIDIA Titan Black GPU。</p>
<p>除了辍学（Srivastava等，2014），我们使用的唯一其他正规化策略是早期停止BLEU评分。我们观察到在我们的实验期间，在训练的后期阶段，验证集对数似然和BLEU之间的相关性出现了中断。由于BLEU是最常报告的度量标准，因此我们在模型选择的验证集上使用了BLEU。</p>
<p>在我们的软关注实验中，我们在Flickr8k实验中也使用了Whetlab 1（Snoek等，2012; 2014）。我们从其探索的超参数区域获得的一些直觉在我们的Flickr30k和COCO实验中尤为重要。</p>
<p>我们在Theano（Bergstra et al。，2010）中公布了这些模型的代码，这些模型在出版时公开发布，以鼓励此领域的未来研究。</p>
<h2 id="5-实验"><a href="#5-实验" class="headerlink" title="5. 实验"></a>5. 实验</h2><p>我们描述了我们的实验方法和定量结果，验证了我们的模型生成字幕的有效性。</p>
<h3 id="5-1-数据"><a href="#5-1-数据" class="headerlink" title="5.1. 数据"></a>5.1. 数据</h3><p>我们报告了流行的Flickr8k和Flickr30k数据集的结果，这些数据集分别有8,000和30,000个图像，以及具有82,783个图像的更具挑战性的Microsoft COCO数据集。 Flickr8k / Flickr30k数据集每个图像都有5个参考句子，但是对于MS COCO数据集，一些图像的参考值超过5，为了保证我们丢弃的数据集的一致性。我们仅将基本标记化应用于MS COCO，以使其与Flickr8k和Flickr30k中存在的标记化一致。对于我们所有的实验，我们使用固定的词汇量10,000。</p>
<p>基于注意力的体系结构的结果见表4.2.1。我们使用经常使用的BLEU指标2报告结果，这是标题生成文献中的标准。我们报告BLEU从1到4没有简短的惩罚。然而，对BLEU提出了批评，因此我们另外报告了另一个常用度量标准METEOR（Denkowski＆Lavie，2014），并尽可能地进行比较。</p>
<h3 id="5-2-评估过程"><a href="#5-2-评估过程" class="headerlink" title="5.2 评估过程"></a>5.2 评估过程</h3><p>比较存在一些挑战，我们在此解释。第一个是卷积特征提取器的选择上的差异。对于相同的解码器架构，使用更新的架构，如GoogLeNet或Oxford VGG Szegedy等。 （2014年），Simonyan＆Zisserman（2014）与使用AlexNet相比可以提升性能（Krizhevsky等，2012）。在我们的评估中，我们仅直接与使用类似GoogLeNet / Oxford VGG功能的结果进行比较，但对于METEOR比较，我们注意到一些使用AlexNet的结果。</p>
<p>第二个挑战是单一模型与整体比较。虽然其他方法通过使用集合来报告性能提升，但在我们的结果中，我们报告了单个模型性能。</p>
<p>最后，由于数据集拆分之间的差异，存在挑战。在我们报告的结果中，我们使用Flickr8k的预定义分割。然而，Flickr30k和COCO数据集的一个挑战是缺乏标准化的分割。因此，我们报告了以前工作中使用的公开分裂3（Karpathy＆Li，2014）。根据我们的经验，分裂的差异并没有对整体表现产生实质性的影响，但我们注意到它们存在的差异。</p>
<h3 id="5-3-定量分析"><a href="#5-3-定量分析" class="headerlink" title="5.3 定量分析"></a>5.3 定量分析</h3><p>在表4.2.1中，我们提供了验证注意力量化效果的实验总结。<br>我们在Flickr8k，Flickr30k和MS COCO上获得最先进的性能。此外，我们注意到在我们的实验中，我们能够显着改善MS COCO的最佳性能METEOR，我们推测这与我们使用的一些正则化技术4.2.1和我们的低级表示有关。最后，我们还注意到，我们可以使用没有集合的单个模型来获得此性能。</p>
<h3 id="5-4-定性分析：学习参加"><a href="#5-4-定性分析：学习参加" class="headerlink" title="5.4 定性分析：学习参加"></a>5.4 定性分析：学习参加</h3><p>通过可视化模型学习的注意力组件，我们能够为模型的输出添加额外的可解释层（参见图1）。其他已经完成此任务的系统依赖于物体检测系统来产生候选对准目标（Karpathy＆Li，2014）。<br>我们的方法更灵活，因为该模型可以处理“非对象”显着区域。</p>
<p>19层OxfordNet使用3x3过滤器堆栈，这意味着特征映射减小的唯一时间是由于最大池层。调整输入图像的大小，使最短边为256维，并保留纵横比。卷积网络的输入是中心裁剪的224x224图像。因此，对于4个最大池化层，我们得到顶部卷积层的输出维数为14x14。因此，为了可视化软模型的注意权重，我们简单地将权重上采样$2^{4}$ = 16并应用高斯滤波器。我们注意到14x14单元中每个单元的感知区域高度重叠。</p>
<p>正如我们在图2和图3中可以看到的，模型学习的对齐与人类的直觉非常强烈地对应。特别是在错误的例子中，我们看到有可能利用这种可视化来获得关于为什么犯这些错误的直觉。我们在附录A中为读者提供了更广泛的可视化列表。</p>
<h2 id="6-结论"><a href="#6-结论" class="headerlink" title="6. 结论"></a>6. 结论</h2><p>我们提出了一种基于注意力的方法，该方法使用BLEU和METEOR度量标准在三个基准数据集上提供最先进的性能。我们还展示了如何利用学习的注意力来为模型生成过程提供更多的可解释性，并证明学习的对齐非常符合人类的直觉。我们希望本文的结果将鼓励未来使用视觉注意力的工作。我们还期望编码器 - 解码器方法的模块化结合在一起，而不是在其他领域中使用其他用途。</p>
<p><img src="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-25-08.png" alt></p>
<p>图2.随时间的注意力。当模型生成每个单词时，其注意力会发生变化以反映图像的相关部分。 “软”（顶行）与“硬”（底行）注意。 （请注意，在此示例中，两个模型都生成了相同的标题。）</p>
<p><img src="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-25-25.png" alt></p>
<center>图3.参加正确对象的示例（白色表示有人参与的区域，下划线表示相应的单词）</center>

<p><img src="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-27-43.png" alt></p>
<p>图4. LSTM单元格，带有粗体正方形的线条表示具有学习权重向量的投影。每个单元学习如何称量其输入组件（输入门），同时学习如何调制对存储器（输入调制器）的贡献。它还学习擦除存储器单元的权重（忘记门），以及控制如何发出存储器的权重（输出门）。</p>
<p><img src="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/Snipaste_2019-05-05_11-29-57.jpg" alt></p>
<center>图5.我们可以使用注意力来获得模型所看到的直觉的错误示例。</center>

<h2 id="致谢"><a href="#致谢" class="headerlink" title="致谢"></a>致谢</h2><p>作者要感谢Theano的开发人员（Bergstra等人，2010; Bastien等人，2012）。我们感谢以下组织对研究资助和计算支持的支持：Nuance Foundation，NSERC，Samsung，CalculQuébec，Compute Canada，加拿大研究主席和CIFAR。作者还要感谢Nitish Srivastava对他的ConvNet软件包的帮助，以及准备牛津卷积网络和Relu Patrascu以帮助解决许多与基础设施相关的问题。</p>
<h2 id="参考文献"><a href="#参考文献" class="headerlink" title="参考文献"></a>参考文献</h2><p>Ba, Jimmy Lei, Mnih, Volodymyr, and Kavukcuoglu, Koray. Multiple object recognition with visual attention.<br>arXiv:1412.7755, December 2014.<br>Bahdanau, Dzmitry, Cho, Kyunghyun, and Bengio, Yoshua. Neural machine translation by jointly learning to align and translate. arXiv:1409.0473, September 2014.<br>Baldi, Pierre and Sadowski, Peter. The dropout learning algorithm. Artificial intelligence, 210:78–122, 2014.<br>Bastien, Frederic, Lamblin, Pascal, Pascanu, Razvan, Bergstra, James, Goodfellow, Ian, Bergeron, Arnaud, Bouchard, Nicolas, Warde-Farley, David, and Bengio, Yoshua. Theano: new features and speed improvements. Submited to the Deep Learning and Unsupervised Feature Learning NIPS 2012 Workshop, 2012.<br>Bergstra, James, Breuleux, Olivier, Bastien, Frédéric, Lamblin, Pascal, Pascanu, Razvan, Desjardins, Guillaume, Turian, Joseph, Warde-Farley, David, and Bengio, Yoshua. Theano: a CPU and GPU math expression compiler. In Proceedings of the Python for Scientific Computing Conference (SciPy), 2010.<br>Chen, Xinlei and Zitnick, C Lawrence. Learning a recurrent visual representation for image caption generation. arXiv preprint arXiv:1411.5654, 2014.<br>Cho, Kyunghyun, van Merrienboer, Bart, Gulcehre, Caglar, Bougares, Fethi, Schwenk, Holger, and Bengio, Yoshua.<br>Learning phrase representations using RNN encoder-decoder for statistical machine translation. In EMNLP, October 2014.<br>Corbetta, Maurizio and Shulman, Gordon L. Control of goaldirected and stimulus-driven attention in the brain. Nature reviews neuroscience, 3(3):201–215, 2002.<br>Denil, Misha, Bazzani, Loris, Larochelle, Hugo, and de Freitas, Nando. Learning where to attend with deep architectures for image tracking. Neural Computation, 2012.<br>Denkowski, Michael and Lavie, Alon. Meteor universal: Language specific translation evaluation for any target language.<br>In Proceedings of the EACL 2014 Workshop on Statistical Machine Translation, 2014.                                                                         Donahue, Jeff, Hendrikcs, Lisa Anne, Guadarrama, Segio, Rohrbach, Marcus, Venugopalan, Subhashini, Saenko, Kate, and Darrell, Trevor. Long-term recurrent convolutional networks for visual recognition and description.<br>arXiv:1411.4389v2, November 2014.<br>Elliott, Desmond and Keller, Frank. Image description using visual dependency representations. In EMNLP, 2013.<br>Fang, Hao, Gupta, Saurabh, Iandola, Forrest, Srivastava, Rupesh, Deng, Li, Dollár, Piotr, Gao, Jianfeng, He, Xiaodong, Mitchell, Margaret, Platt, John, et al. From captions to visual concepts and back. arXiv:1411.4952, November 2014.<br>Hochreiter, S. and Schmidhuber, J. Long short-term memory.<br>Neural Computation, 9(8):1735–1780, 1997.<br>Hodosh, Micah, Young, Peter, and Hockenmaier, Julia. Framing image description as a ranking task: Data, models and evaluation metrics. Journal of Artificial Intelligence Research, pp.<br>853–899, 2013.<br>Karpathy, Andrej and Li, Fei-Fei. Deep visual-semantic alignments for generating image descriptions. arXiv:1412.2306, December 2014.<br>Kingma, Diederik P. and Ba, Jimmy. Adam: A Method for Stochastic Optimization. arXiv:1412.6980, December 2014.<br>Kiros, Ryan, Salahutdinov, Ruslan, and Zemel, Richard. Multimodal neural language models. In International Conference on Machine Learning, pp. 595–603, 2014a.<br>Kiros, Ryan, Salakhutdinov, Ruslan, and Zemel, Richard. Unifying visual-semantic embeddings with multimodal neural language models. arXiv:1411.2539, November 2014b.<br>Krizhevsky, Alex, Sutskever, Ilya, and Hinton, Geoffrey. ImageNet classification with deep convolutional neural networks.<br>In NIPS. 2012.<br>Kulkarni, Girish, Premraj, Visruth, Ordonez, Vicente, Dhar, Sagnik, Li, Siming, Choi, Yejin, Berg, Alexander C, and Berg, Tamara L. Babytalk: Understanding and generating simple image descriptions. PAMI, IEEE Transactions on, 35(12):2891– 2903, 2013.<br>Kuznetsova, Polina, Ordonez, Vicente, Berg, Alexander C, Berg, Tamara L, and Choi, Yejin. Collective generation of natural image descriptions. In Association for Computational Linguistics. ACL, 2012.<br>Kuznetsova, Polina, Ordonez, Vicente, Berg, Tamara L, and Choi, Yejin. Treetalk: Composition and compression of trees for image descriptions. TACL, 2(10):351–362, 2014.<br>Larochelle, Hugo and Hinton, Geoffrey E. Learning to combine foveal glimpses with a third-order boltzmann machine. In NIPS, pp. 1243–1251, 2010.<br>Li, Siming, Kulkarni, Girish, Berg, Tamara L, Berg, Alexander C, and Choi, Yejin. Composing simple image descriptions using web-scale n-grams. In Computational Natural Language Learning. ACL, 2011.<br>Lin, Tsung-Yi, Maire, Michael, Belongie, Serge, Hays, James, Perona, Pietro, Ramanan, Deva, Dollár, Piotr, and Zitnick, C Lawrence. Microsoft coco: Common objects in context. In ECCV, pp. 740–755. 2014.<br>Mao, Junhua, Xu, Wei, Yang, Yi, Wang, Jiang, and Yuille, Alan.<br>Deep captioning with multimodal recurrent neural networks (m-rnn). arXiv:1412.6632, December 2014.<br>Mitchell, Margaret, Han, Xufeng, Dodge, Jesse, Mensch, Alyssa, Goyal, Amit, Berg, Alex, Yamaguchi, Kota, Berg, Tamara, Stratos, Karl, and Daumé III, Hal. Midge: Generating image descriptions from computer vision detections. In European Chapter of the Association for Computational Linguistics, pp.<br>747–756. ACL, 2012.<br>Mnih, Volodymyr, Hees, Nicolas, Graves, Alex, and Kavukcuoglu, Koray. Recurrent models of visual attention. In NIPS, 2014.<br>Pascanu, Razvan, Gulcehre, Caglar, Cho, Kyunghyun, and Bengio, Yoshua. How to construct deep recurrent neural networks.<br>In ICLR, 2014.<br>Rensink, Ronald A. The dynamic representation of scenes. Visual cognition, 7(1-3):17–42, 2000.<br>Russakovsky, Olga, Deng, Jia, Su, Hao, Krause, Jonathan, Satheesh, Sanjeev, Ma, Sean, Huang, Zhiheng, Karpathy, Andrej, Khosla, Aditya, Bernstein, Michael, Berg, Alexander C., and Fei-Fei, Li. ImageNet Large Scale Visual Recognition Challenge, 2014.<br>Simonyan, K. and Zisserman, A. Very deep convolutional networks for large-scale image recognition. CoRR, abs/1409.1556, 2014.<br>Snoek, Jasper, Larochelle, Hugo, and Adams, Ryan P. Practical bayesian optimization of machine learning algorithms. In NIPS, pp. 2951–2959, 2012.<br>Snoek, Jasper, Swersky, Kevin, Zemel, Richard S, and Adams, Ryan P. Input warping for bayesian optimization of nonstationary functions. arXiv preprint arXiv:1402.0929, 2014.<br>Srivastava, Nitish, Hinton, Geoffrey, Krizhevsky, Alex, Sutskever, Ilya, and Salakhutdinov, Ruslan. Dropout: A simple way to prevent neural networks from overfitting. JMLR, 15, 2014.<br>Sutskever, Ilya, Vinyals, Oriol, and Le, Quoc VV. Sequence to sequence learning with neural networks. In NIPS, pp. 3104– 3112, 2014.<br>Szegedy, Christian, Liu, Wei, Jia, Yangqing, Sermanet, Pierre, Reed, Scott, Anguelov, Dragomir, Erhan, Dumitru, Vanhoucke, Vincent, and Rabinovich, Andrew. Going deeper with convolutions. arXiv preprint arXiv:1409.4842, 2014.<br>Tang, Yichuan, Srivastava, Nitish, and Salakhutdinov, Ruslan R.<br>Learning generative models with visual attention. In NIPS, pp.<br>1808–1816, 2014.<br>Tieleman, Tijmen and Hinton, Geoffrey. Lecture 6.5 - rmsprop.<br>Technical report, 2012.<br>Vinyals, Oriol, Toshev, Alexander, Bengio, Samy, and Erhan, Dumitru. Show and tell: A neural image caption generator.<br>arXiv:1411.4555, November 2014.                                                Weaver, Lex and Tao, Nigel. The optimal reward baseline for gradient-based reinforcement learning. In Proc. UAI’2001, pp.<br>538–545, 2001.<br>Williams, Ronald J. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learning, 8(3-4):229–256, 1992.<br>Yang, Yezhou, Teo, Ching Lik, Daumé III, Hal, and Aloimonos, Yiannis. Corpus-guided sentence generation of natural images.<br>In EMNLP, pp. 444–454. ACL, 2011.<br>Young, Peter, Lai, Alice, Hodosh, Micah, andHockenmaier, Julia.<br>From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, 2:67–78, 2014.<br>Zaremba, Wojciech, Sutskever, Ilya, and Vinyals, Oriol. Recurrent neural network regularization. arXiv preprint arXiv:1409.2329, September 2014.</p>

      
    </div>

    

    
    
    

    
        
<div class="my_post_copyright">
  <script src="//cdn.bootcss.com/clipboard.js/1.5.10/clipboard.min.js"></script>
  
  <!-- JS库 sweetalert 可修改路径 -->
  <script type="text/javascript" src="http://jslibs.wuxubj.cn/sweetalert_mini/jquery-1.7.1.min.js"></script>
  <script src="http://jslibs.wuxubj.cn/sweetalert_mini/sweetalert.min.js"></script>
  <link rel="stylesheet" type="text/css" href="http://jslibs.wuxubj.cn/sweetalert_mini/sweetalert.mini.css">
 
  <p><span>本文标题:</span>显示，参与和分辨：用视觉注意生成神经图像标题</p>
  <p><span>文章作者:</span>xieyuanhui</p>
  <p><span>发布时间:</span>2019年05月05日 - 09:31:49</p>
  <p><span>最后更新:</span>2019年12月09日 - 20:34:50</p>
  <p><span>原始链接:</span><a href="/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/" title="显示，参与和分辨：用视觉注意生成神经图像标题">http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/</a>
    <span class="copy-path" title="点击复制文章链接"><i class="fa fa-clipboard" data-clipboard-text="http://xyh5513.gitee.io/xieyuanhui/2019/05/05/显示，参与和分辨：用视觉注意生成神经图像标题/" aria-label="复制成功！"></i></span>
  </p>
  <p><span>许可协议:</span><i class="fa fa-creative-commons"></i> <a rel="license" href="https://creativecommons.org/licenses/by-nc-nd/4.0/" target="_blank" title="Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0)">CC BY-NC-SA 4.0</a> 转载请保留原文链接及作者。</p>  
</div>
<script> 
    var clipboard = new Clipboard('.fa-clipboard');
    clipboard.on('success', $(function(){
      $(".fa-clipboard").click(function(){
        swal({   
          title: "",   
          text: '复制成功',   
          html: false,
          timer: 500,   
          showConfirmButton: false
        });
      });
    }));  
</script>

    

    

    
      
    
    
      <div>
        <div id="reward-container">
  <div>您的支持将鼓励我继续创作</div>
  <button id="reward-button" disable="enable" onclick="var qr = document.getElementById(&quot;qr&quot;); qr.style.display = (qr.style.display === 'none') ? 'block' : 'none';">
    打赏
  </button>
  <div id="qr" style="display: none;">

    
      
      
        
      
      <div style="display: inline-block">
        <img src="/xieyuanhui/images/wechatpay.png" alt="xieyuanhui 微信支付">
        <p>微信支付</p>
      </div>
    
      
      
        
      
      <div style="display: inline-block">
        <img src="/xieyuanhui/images/alipay.jpg" alt="xieyuanhui 支付宝">
        <p>支付宝</p>
      </div>
    

  </div>
</div>

      </div>
    

    

    <footer class="post-footer">
      
        <div class="post-tags">
          
            <a href="/xieyuanhui/tags/论文/" rel="tag"># 论文</a>
          
            <a href="/xieyuanhui/tags/翻译/" rel="tag"># 翻译</a>
          
        </div>
      

      
      
        <div class="post-widgets">
        

        

        
          
          <div class="social_share">
            
            
              <div id="needsharebutton-postbottom">
                <span class="btn">
                  <i class="fa fa-share-alt" aria-hidden="true"></i>
                </span>
              </div>
            
            
          </div>
        
        </div>
      
      

      
        <div class="post-nav">
          <div class="post-nav-next post-nav-item">
            
              <a href="/xieyuanhui/2019/05/03/索引模块/" rel="next" title="索引模块">
                <i class="fa fa-chevron-left"></i> 索引模块
              </a>
            
          </div>

          <span class="post-nav-divider"></span>

          <div class="post-nav-prev post-nav-item">
            
              <a href="/xieyuanhui/2019/05/10/神经网络的直观解释/" rel="prev" title="神经网络的直观解释">
                神经网络的直观解释 <i class="fa fa-chevron-right"></i>
              </a>
            
          </div>
        </div>
      

      
      
    </footer>
  </div>
  
  
  
  </article>


  </div>


          </div>
          

  



        </div>
        
          
  
  <div class="sidebar-toggle">
    <div class="sidebar-toggle-line-wrap">
      <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
    </div>
  </div>

  <aside id="sidebar" class="sidebar">
    <div class="sidebar-inner">

      

      
        <ul class="sidebar-nav motion-element">
          <li class="sidebar-nav-toc sidebar-nav-active" data-target="post-toc-wrap">
            文章目录
          </li>
          <li class="sidebar-nav-overview" data-target="site-overview-wrap">
            站点概览
          </li>
        </ul>
      

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-overview">
          <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
            
              <img class="site-author-image" itemprop="image" src="/xieyuanhui/images/deer.png" alt="xieyuanhui">
            
              <p class="site-author-name" itemprop="name">xieyuanhui</p>
              <div class="site-description motion-element" itemprop="description"></div>
          </div>

          
            <nav class="site-state motion-element">
              
                <div class="site-state-item site-state-posts">
                
                  <a href="/xieyuanhui/archives/">
                
                    <span class="site-state-item-count">107</span>
                    <span class="site-state-item-name">日志</span>
                  </a>
                </div>
              

              
                
                
                <div class="site-state-item site-state-categories">
                  
                    
                      <a href="/xieyuanhui/categories/">
                    
                  
                    
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                    <span class="site-state-item-count">16</span>
                    <span class="site-state-item-name">分类</span>
                  </a>
                </div>
              

              
                
                
                <div class="site-state-item site-state-tags">
                  
                    
                      <a href="/xieyuanhui/tags/">
                    
                  
                    
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                    <span class="site-state-item-count">114</span>
                    <span class="site-state-item-name">标签</span>
                  </a>
                </div>
              
            </nav>
          

          
            <div class="feed-link motion-element">
              <a href="/xieyuanhui/atom.xml" rel="alternate">
                <i class="fa fa-rss"></i>
                RSS
              </a>
            </div>
          

          

          
            <div class="links-of-author motion-element">
              
                <span class="links-of-author-item">
                  
                  
                    
                  
                  
                    
                  
                  <a href="/xieyuanhui/yuanhxie@163.com" title="E-Mail &rarr; yuanhxie@163.com"><i class="fa fa-fw fa-envelope"></i>E-Mail</a>
                </span>
              
            </div>
          

          

          
          

          
            
          
          

        </div>
      </div>

      
      <!--noindex-->
        <div class="post-toc-wrap motion-element sidebar-panel sidebar-panel-active">
          <div class="post-toc">

            
            
            
            

            
              <div class="post-toc-content"><ol class="nav"><li class="nav-item nav-level-2"><a class="nav-link" href="#摘要"><span class="nav-text">摘要</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#1-介绍"><span class="nav-text">1. 介绍</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#2-相关工作"><span class="nav-text">2. 相关工作</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#3-带注意机制的图像标题生成"><span class="nav-text">3. 带注意机制的图像标题生成</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#3-1-模型细节"><span class="nav-text">3.1 模型细节</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#3-1-1-编码器：卷积特征"><span class="nav-text">3.1.1 编码器：卷积特征</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#3-1-2-解码器：长短期记忆网络"><span class="nav-text">3.1.2 解码器：长短期记忆网络</span></a></li></ol></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#4-学习随机“硬”与确定性“软”注意"><span class="nav-text">4. 学习随机“硬”与确定性“软”注意</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#4-1-随机“硬”注意"><span class="nav-text">4.1 随机“硬”注意</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#4-2-确定性的“软”注意力"><span class="nav-text">4.2 确定性的“软”注意力</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#4-2-1-双重随机注意"><span class="nav-text">4.2.1 双重随机注意</span></a></li></ol></li><li class="nav-item nav-level-3"><a class="nav-link" href="#4-3-训练过程"><span class="nav-text">4.3 训练过程</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#5-实验"><span class="nav-text">5. 实验</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#5-1-数据"><span class="nav-text">5.1. 数据</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#5-2-评估过程"><span class="nav-text">5.2 评估过程</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#5-3-定量分析"><span class="nav-text">5.3 定量分析</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#5-4-定性分析：学习参加"><span class="nav-text">5.4 定性分析：学习参加</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#6-结论"><span class="nav-text">6. 结论</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#致谢"><span class="nav-text">致谢</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#参考文献"><span class="nav-text">参考文献</span></a></li></ol></div>
            

          </div>
        </div>
      <!--/noindex-->
      

      

    </div>
  </aside>
  


        
      </div>
    </main>

    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright">&copy; <span itemprop="copyrightYear">2019</span>
  <span class="with-love" id="animate">
    <i class="fa fa-user"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">xieyuanhui</span>

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-area-chart"></i>
    </span>
    
      <span class="post-meta-item-text">站点总字数：</span>
    
    <span title="站点总字数">749k</span>
  

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-coffee"></i>
    </span>
    
      <span class="post-meta-item-text">站点阅读时长 &asymp;</span>
    
    <span title="站点阅读时长">11:21</span>
  
</div>


  <div class="powered-by">由 <a href="https://hexo.io" class="theme-link" rel="noopener" target="_blank">Hexo</a> 强力驱动 v3.8.0</div>



  <span class="post-meta-divider">|</span>



  <div class="theme-info">主题 – <a href="https://theme-next.org" class="theme-link" rel="noopener" target="_blank">NexT.Pisces</a> v7.1.0</div>


<div><span id="sitetime"></span>
<script language="javascript">
  function siteTime(){
    window.setTimeout("siteTime()", 1000);
    var seconds = 1000;
    var minutes = seconds * 60;
    var hours = minutes * 60;
    var days = hours * 24;
    var years = days * 365;
    var today = new Date();
    var todayYear = today.getFullYear();
    var todayMonth = today.getMonth()+1;
    var todayDate = today.getDate();
    var todayHour = today.getHours();
    var todayMinute = today.getMinutes();
    var todaySecond = today.getSeconds();
    /* Date.UTC() -- 返回date对象距世界标准时间(UTC)1970年1月1日午夜之间的毫秒数(时间戳)
    year - 作为date对象的年份，为4位年份值
    month - 0-11之间的整数，做为date对象的月份
    day - 1-31之间的整数，做为date对象的天数
    hours - 0(午夜24点)-23之间的整数，做为date对象的小时数
    minutes - 0-59之间的整数，做为date对象的分钟数
    seconds - 0-59之间的整数，做为date对象的秒数
    microseconds - 0-999之间的整数，做为date对象的毫秒数 */
    var t1 = Date.UTC(2019,04,09,15,00,00); //北京时间2018-2-13 00:00:00
    var t2 = Date.UTC(todayYear,todayMonth,todayDate,todayHour,todayMinute,todaySecond);
    var diff = t2-t1;
    var diffYears = Math.floor(diff/years);
    var diffDays = Math.floor((diff/days)-diffYears*365);
    var diffHours = Math.floor((diff-(diffYears*365+diffDays)*days)/hours);
    var diffMinutes = Math.floor((diff-(diffYears*365+diffDays)*days-diffHours*hours)/minutes);
    var diffSeconds = Math.floor((diff-(diffYears*365+diffDays)*days-diffHours*hours-diffMinutes*minutes)/seconds);
    document.getElementById("sitetime").innerHTML=" xieyuanhui的个人笔记已运行"+/*diffYears+" 年 "+*/diffDays+" 天 "+diffHours+" 小时 "+diffMinutes+" 分钟 "+diffSeconds+" 秒";
  }/*因为建站时间还没有一年，就将之注释掉了。需要的可以取消*/
  siteTime();
</script></div>



<div>

  <div class="theme-info">
    <script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
    <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次</span>
    <span class="post-meta-divider">|</span>
    <span id="busuanzi_container_site_uv">本站访客数<span id="busuanzi_value_site_uv"></span>人</span>
  </div>

</div>

        






  <div>
    <script type="text/javascript">
	    var cnzz_protocol = (("https:" == document.location.protocol) ? "https://" : "http://");
	    document.write(unescape("%3Cspan id='cnzz_stat_icon_1277235632'%3E%3C/span%3E%3Cscript 
	    src='" + cnzz_protocol + "s23.cnzz.com/z_stat.php%3Fid%3D1277235632%26show%3Dpic' 
	    type='text/javascript'%3E%3C/script%3E"));
    </script>
  </div>



        
      </div>
    </footer>

    
      <div class="back-to-top">
        <i class="fa fa-arrow-up"></i>
        
      </div>
    

    
      <div id="needsharebutton-float">
        <span class="btn">
          <i class="fa fa-share-alt" aria-hidden="true"></i>
        </span>
      </div>
    

    

    
  </div>

  

<script>
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>












  



  
    
    
  
  <script color="0,0,255" opacity="0.5" zindex="-1" count="99" src="/xieyuanhui/lib/canvas-nest/canvas-nest.min.js"></script>













  
  <script src="/xieyuanhui/lib/jquery/index.js?v=2.1.3"></script>

  
  <script src="/xieyuanhui/lib/velocity/velocity.min.js?v=1.2.1"></script>

  
  <script src="/xieyuanhui/lib/velocity/velocity.ui.min.js?v=1.2.1"></script>

  
  <script src="/xieyuanhui/lib/fancybox/source/jquery.fancybox.pack.js"></script>


  


  <script src="/xieyuanhui/js/utils.js?v=7.1.0"></script>

  <script src="/xieyuanhui/js/motion.js?v=7.1.0"></script>



  
  


  <script src="/xieyuanhui/js/affix.js?v=7.1.0"></script>

  <script src="/xieyuanhui/js/schemes/pisces.js?v=7.1.0"></script>



  
  <script src="/xieyuanhui/js/scrollspy.js?v=7.1.0"></script>
<script src="/xieyuanhui/js/post-details.js?v=7.1.0"></script>



  


  <script src="/xieyuanhui/js/next-boot.js?v=7.1.0"></script>


  

  

  

  


  


  
  <script>
    // Popup Window;
    var isfetched = false;
    var isXml = true;
    // Search DB path;
    var search_path = "search.xml";
    if (search_path.length === 0) {
      search_path = "search.xml";
    } else if (/json$/i.test(search_path)) {
      isXml = false;
    }
    var path = "/xieyuanhui/" + search_path;
    // monitor main search box;

    var onPopupClose = function (e) {
      $('.popup').hide();
      $('#local-search-input').val('');
      $('.search-result-list').remove();
      $('#no-result').remove();
      $(".local-search-pop-overlay").remove();
      $('body').css('overflow', '');
    }

    function proceedsearch() {
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay"></div>')
        .css('overflow', 'hidden');
      $('.search-popup-overlay').click(onPopupClose);
      $('.popup').toggle();
      var $localSearchInput = $('#local-search-input');
      $localSearchInput.attr("autocapitalize", "none");
      $localSearchInput.attr("autocorrect", "off");
      $localSearchInput.focus();
    }

    // search function;
    var searchFunc = function(path, search_id, content_id) {
      'use strict';

      // start loading animation
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay">' +
          '<div id="search-loading-icon">' +
          '<i class="fa fa-spinner fa-pulse fa-5x fa-fw"></i>' +
          '</div>' +
          '</div>')
        .css('overflow', 'hidden');
      $("#search-loading-icon").css('margin', '20% auto 0 auto').css('text-align', 'center');

      

      $.ajax({
        url: path,
        dataType: isXml ? "xml" : "json",
        async: true,
        success: function(res) {
          // get the contents from search data
          isfetched = true;
          $('.popup').detach().appendTo('.header-inner');
          var datas = isXml ? $("entry", res).map(function() {
            return {
              title: $("title", this).text(),
              content: $("content",this).text(),
              url: $("url" , this).text()
            };
          }).get() : res;
          var input = document.getElementById(search_id);
          var resultContent = document.getElementById(content_id);
          var inputEventFunction = function() {
            var searchText = input.value.trim().toLowerCase();
            var keywords = searchText.split(/[\s\-]+/);
            if (keywords.length > 1) {
              keywords.push(searchText);
            }
            var resultItems = [];
            if (searchText.length > 0) {
              // perform local searching
              datas.forEach(function(data) {
                var isMatch = false;
                var hitCount = 0;
                var searchTextCount = 0;
                var title = data.title.trim();
                var titleInLowerCase = title.toLowerCase();
                var content = data.content.trim().replace(/<[^>]+>/g,"");
                
                var contentInLowerCase = content.toLowerCase();
                var articleUrl = decodeURIComponent(data.url).replace(/\/{2,}/g, '/');
                var indexOfTitle = [];
                var indexOfContent = [];
                // only match articles with not empty titles
                if(title != '') {
                  keywords.forEach(function(keyword) {
                    function getIndexByWord(word, text, caseSensitive) {
                      var wordLen = word.length;
                      if (wordLen === 0) {
                        return [];
                      }
                      var startPosition = 0, position = [], index = [];
                      if (!caseSensitive) {
                        text = text.toLowerCase();
                        word = word.toLowerCase();
                      }
                      while ((position = text.indexOf(word, startPosition)) > -1) {
                        index.push({position: position, word: word});
                        startPosition = position + wordLen;
                      }
                      return index;
                    }

                    indexOfTitle = indexOfTitle.concat(getIndexByWord(keyword, titleInLowerCase, false));
                    indexOfContent = indexOfContent.concat(getIndexByWord(keyword, contentInLowerCase, false));
                  });
                  if (indexOfTitle.length > 0 || indexOfContent.length > 0) {
                    isMatch = true;
                    hitCount = indexOfTitle.length + indexOfContent.length;
                  }
                }

                // show search results

                if (isMatch) {
                  // sort index by position of keyword

                  [indexOfTitle, indexOfContent].forEach(function (index) {
                    index.sort(function (itemLeft, itemRight) {
                      if (itemRight.position !== itemLeft.position) {
                        return itemRight.position - itemLeft.position;
                      } else {
                        return itemLeft.word.length - itemRight.word.length;
                      }
                    });
                  });

                  // merge hits into slices

                  function mergeIntoSlice(text, start, end, index) {
                    var item = index[index.length - 1];
                    var position = item.position;
                    var word = item.word;
                    var hits = [];
                    var searchTextCountInSlice = 0;
                    while (position + word.length <= end && index.length != 0) {
                      if (word === searchText) {
                        searchTextCountInSlice++;
                      }
                      hits.push({position: position, length: word.length});
                      var wordEnd = position + word.length;

                      // move to next position of hit

                      index.pop();
                      while (index.length != 0) {
                        item = index[index.length - 1];
                        position = item.position;
                        word = item.word;
                        if (wordEnd > position) {
                          index.pop();
                        } else {
                          break;
                        }
                      }
                    }
                    searchTextCount += searchTextCountInSlice;
                    return {
                      hits: hits,
                      start: start,
                      end: end,
                      searchTextCount: searchTextCountInSlice
                    };
                  }

                  var slicesOfTitle = [];
                  if (indexOfTitle.length != 0) {
                    slicesOfTitle.push(mergeIntoSlice(title, 0, title.length, indexOfTitle));
                  }

                  var slicesOfContent = [];
                  while (indexOfContent.length != 0) {
                    var item = indexOfContent[indexOfContent.length - 1];
                    var position = item.position;
                    var word = item.word;
                    // cut out 100 characters
                    var start = position - 20;
                    var end = position + 80;
                    if(start < 0){
                      start = 0;
                    }
                    if (end < position + word.length) {
                      end = position + word.length;
                    }
                    if(end > content.length){
                      end = content.length;
                    }
                    slicesOfContent.push(mergeIntoSlice(content, start, end, indexOfContent));
                  }

                  // sort slices in content by search text's count and hits' count

                  slicesOfContent.sort(function (sliceLeft, sliceRight) {
                    if (sliceLeft.searchTextCount !== sliceRight.searchTextCount) {
                      return sliceRight.searchTextCount - sliceLeft.searchTextCount;
                    } else if (sliceLeft.hits.length !== sliceRight.hits.length) {
                      return sliceRight.hits.length - sliceLeft.hits.length;
                    } else {
                      return sliceLeft.start - sliceRight.start;
                    }
                  });

                  // select top N slices in content

                  var upperBound = parseInt('1');
                  if (upperBound >= 0) {
                    slicesOfContent = slicesOfContent.slice(0, upperBound);
                  }

                  // highlight title and content

                  function highlightKeyword(text, slice) {
                    var result = '';
                    var prevEnd = slice.start;
                    slice.hits.forEach(function (hit) {
                      result += text.substring(prevEnd, hit.position);
                      var end = hit.position + hit.length;
                      result += '<b class="search-keyword">' + text.substring(hit.position, end) + '</b>';
                      prevEnd = end;
                    });
                    result += text.substring(prevEnd, slice.end);
                    return result;
                  }

                  var resultItem = '';

                  if (slicesOfTitle.length != 0) {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + highlightKeyword(title, slicesOfTitle[0]) + "</a>";
                  } else {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + title + "</a>";
                  }

                  slicesOfContent.forEach(function (slice) {
                    resultItem += "<a href='" + articleUrl + "'>" +
                      "<p class=\"search-result\">" + highlightKeyword(content, slice) +
                      "...</p>" + "</a>";
                  });

                  resultItem += "</li>";
                  resultItems.push({
                    item: resultItem,
                    searchTextCount: searchTextCount,
                    hitCount: hitCount,
                    id: resultItems.length
                  });
                }
              })
            };
            if (keywords.length === 1 && keywords[0] === "") {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-search fa-5x"></i></div>'
            } else if (resultItems.length === 0) {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-frown-o fa-5x"></i></div>'
            } else {
              resultItems.sort(function (resultLeft, resultRight) {
                if (resultLeft.searchTextCount !== resultRight.searchTextCount) {
                  return resultRight.searchTextCount - resultLeft.searchTextCount;
                } else if (resultLeft.hitCount !== resultRight.hitCount) {
                  return resultRight.hitCount - resultLeft.hitCount;
                } else {
                  return resultRight.id - resultLeft.id;
                }
              });
              var searchResultList = '<ul class=\"search-result-list\">';
              resultItems.forEach(function (result) {
                searchResultList += result.item;
              })
              searchResultList += "</ul>";
              resultContent.innerHTML = searchResultList;
            }
          }

          if ('auto' === 'auto') {
            input.addEventListener('input', inputEventFunction);
          } else {
            $('.search-icon').click(inputEventFunction);
            input.addEventListener('keypress', function (event) {
              if (event.keyCode === 13) {
                inputEventFunction();
              }
            });
          }

          // remove loading animation
          $(".local-search-pop-overlay").remove();
          $('body').css('overflow', '');

          proceedsearch();
        }
      });
    }

    // handle and trigger popup window;
    $('.popup-trigger').click(function(e) {
      e.stopPropagation();
      if (isfetched === false) {
        searchFunc(path, 'local-search-input', 'local-search-result');
      } else {
        proceedsearch();
      };
    });

    $('.popup-btn-close').click(onPopupClose);
    $('.popup').click(function(e){
      e.stopPropagation();
    });
    $(document).on('keyup', function (event) {
      var shouldDismissSearchPopup = event.which === 27 &&
        $('.search-popup').is(':visible');
      if (shouldDismissSearchPopup) {
        onPopupClose();
      }
    });
  </script>





  
  
  <script>
    
    function addCount(Counter) {
      var $visitors = $('.leancloud_visitors');
      var url = $visitors.attr('id').trim();
      var title = $visitors.attr('data-flag-title').trim();

      Counter('get', '/classes/Counter', { where: JSON.stringify({ url }) })
        .done(function({ results }) {
          if (results.length > 0) {
            var counter = results[0];
            
            Counter('put', '/classes/Counter/' + counter.objectId, JSON.stringify({ time: { '__op': 'Increment', 'amount': 1 } }))
            
              .done(function() {
                var $element = $(document.getElementById(url));
                $element.find('.leancloud-visitors-count').text(counter.time + 1);
              })
            
              .fail(function ({ responseJSON }) {
                console.log('Failed to save Visitor num, with error message: ' + responseJSON.error);
              })
          } else {
            
              Counter('post', '/classes/Counter', JSON.stringify({ title: title, url: url, time: 1 }))
                .done(function() {
                  var $element = $(document.getElementById(url));
                  $element.find('.leancloud-visitors-count').text(1);
                })
                .fail(function() {
                  console.log('Failed to create');
                });
            
          }
        })
        .fail(function ({ responseJSON }) {
          console.log('LeanCloud Counter Error: ' + responseJSON.code + ' ' + responseJSON.error);
        });
    }
    

    $(function() {
      $.get('https://app-router.leancloud.cn/2/route?appId=' + 'q2BU0OM2W8i5nARddHRKQOvm-gzGzoHsz')
        .done(function({ api_server }) {
          var Counter = function(method, url, data) {
            return $.ajax({
              method: method,
              url: 'https://' + api_server + '/1.1' + url,
              headers: {
                'X-LC-Id': 'q2BU0OM2W8i5nARddHRKQOvm-gzGzoHsz',
                'X-LC-Key': 'hLTPk12Jmt8atnC9cePjTwQH',
                'Content-Type': 'application/json',
              },
              data: data
            });
          };
          
            addCount(Counter);
          
        });
    });
  </script>



  

  
  

  
  

  
    
      <script type="text/x-mathjax-config">
  

  MathJax.Hub.Config({
    tex2jax: {
      inlineMath: [ ['$', '$'], ['\\(', '\\)'] ],
      processEscapes: true,
      skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
    },
    TeX: {
      
      equationNumbers: {
        autoNumber: 'AMS'
      }
    }
  });
  MathJax.Hub.Register.StartupHook('TeX Jax Ready', function() {
    MathJax.InputJax.TeX.prefilterHooks.Add(function(data) {
      if (data.display) {
        var next = data.script.nextSibling;
        while (next && next.nodeName.toLowerCase() === '#text') { next = next.nextSibling }
        if (next && next.nodeName.toLowerCase() === 'br') { next.parentNode.removeChild(next) }
      }
    });
  });
</script>

<script type="text/x-mathjax-config">
  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for (i = 0; i < all.length; i += 1) {
      document.getElementById(all[i].inputID + '-Frame').parentNode.className += ' has-jax';
    }
  });
</script>
<script src="//cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.5/MathJax.js?config=TeX-MML-AM_CHTML"></script>

    
  


  

  

  

  

  
  
  
  <script src="/xieyuanhui/lib/needsharebutton/needsharebutton.js"></script>
  <script>
    
      pbOptions = {};
      
        pbOptions.iconStyle = "box";
      
        pbOptions.boxForm = "horizontal";
      
        pbOptions.position = "bottomCenter";
      
        pbOptions.networks = "Weibo,Wechat,Douban,QQZone,Twitter,Facebook";
      
      new needShareButton('#needsharebutton-postbottom', pbOptions);
    
    
      flOptions = {};
      
        flOptions.iconStyle = "box";
      
        flOptions.boxForm = "horizontal";
      
        flOptions.position = "middleRight";
      
        flOptions.networks = "Weibo,Wechat,Douban,QQZone,Twitter,Facebook";
      
      new needShareButton('#needsharebutton-float', flOptions);
    
  </script>


  

  

  

  

  

  


  
  <script type="text/javascript" src="//cdn.bootcss.com/canvas-nest.js/1.0.0/canvas-nest.min.js"></script><!-- hexo-inject:begin --><!-- Begin: Injected MathJax -->
<script type="text/x-mathjax-config">
  MathJax.Hub.Config({"tex2jax":{"inlineMath":[["$","$"],["\\(","\\)"]],"skipTags":["script","noscript","style","textarea","pre","code"],"processEscapes":true},"TeX":{"equationNumbers":{"autoNumber":"AMS"}}});
</script>

<script type="text/x-mathjax-config">
  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for(i=0; i < all.length; i += 1) {
      all[i].SourceElement().parentNode.className += ' has-jax';
    }
  });
</script>

<script type="text/javascript" src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.1/MathJax.js">
</script>
<!-- End: Injected MathJax -->
<!-- hexo-inject:end -->
  
</body>
</html>
